机器翻译 导入模块： import sys sys.path.append('/home/kesci/input/d2l9528/') import collections import d2l import zipfile from d2l.data.base import Vocab import time import torch import torch.nn as nn...
机器翻译 导入模块： import sys sys.path.append('/home/kesci/input/d2l9528/') import collections import d2l import zipfile from d2l.data.base import Vocab import time import torch import torch.nn as nn...
1.过拟合、欠拟合及其解决方案 过拟合：模型无法得到较低的训练误差，我们将这一现象称作欠拟合（underfitting）； 欠拟合：模型的训练误差远小于它在测试数据集上的误差，我们称该现象为过拟合（overfitting）。...
– 机器翻译 – 机器翻译与数据集 ...with open('/home/kesci/input/fraeng6506/fra.txt', 'r') as f: raw_text = f.read() print(raw_text[0:1000]) 由于字符在计算机中是以编码的形式存在，我们
系统学习《动手学深度学习》点击这里： 《动手学深度学习》task1_1 线性回归 《动手学深度学习》task1_2 Softmax与分类模型 ...《动手学深度学习》task4_1 机器翻译 《动手学深度学习》task4_2 注意力机制和Seq2se
伯禹公益AI《动手学深度学习PyTorch版》Task 07 学习笔记 Task 07：优化算法进阶；word2vec；词嵌入进阶 微信昵称：WarmIce 优化算法进阶 emmmm，讲实话，关于所谓的病态问题是什么，条件数在复杂优化目标函数下的...
伯禹公益AI《动手学深度学习PyTorch版》Task 06 学习笔记 Task 06：批量归一化和残差网络；凸优化；梯度下降 微信昵称：WarmIce 批量归一化和残差网络 BN和ResNet都没什么特别好说的。 DenseNet久闻其名，但是一直...
机器翻译及相关技术；注意力机制与Seq2seq模型；Transformer 2.15-2.19 一、机器翻译及相关技术 定义： 机器翻译（MT）：将一段文本从一种语言自动翻译为另一种语言，用神经网络解决这个问题通常称为神经机器翻译...
循环神经网络 首先，循环神经网络可以为语言模型来建模。 1.语言模型 语言模型：给定一个一句话前面的部分，预测接下来最有可能的一个词是什么。 使用循环神经网络之前，语言模型主要是采用N-Gram。...
机器翻译及相关技术 Task2中的循环神经网络部分，有实现预测歌词的功能。在那个任务中，训练数据的输入输出长度是固定的，而在机器翻译中，输出的长度是不固定的，所以不能直接用RNN来处理这种任务。 Encoder-...
Task 03 过拟合、欠拟合及其解决方案 本节主要内容有三点： 1.过拟合、欠拟合的概念 2.权重衰减 3.丢弃法 这里对过拟合、欠拟合的概念...这里使用泛化误差和训练误差之间的关系来定义过拟合和欠拟合的概念，学习到了
Task3打卡 1、过拟合、欠拟合及其解决方案 目录： 相关的基本概念 权重衰减 过拟合、欠拟合解决方法 1、相关的基本概念 训练误差： 模型在训练数据集上表现出的误差。 泛化误差： 模型在任意一个测试数据样本上表现...
卷积神经网络基础；leNet；卷积神经网络进阶 一、卷积神经网络基础 二维互相关运算 二维互相关（cross-correlation）运算的输入是一个二维输入数组和一个二维核（kernel）数组，输出也是一个二维数组，其中核数组...
小白知识 二维互相关运算 输入是一个二维输入数组和一个二维核（kernel）数组，输出也是一个二维数组，其中核数组通常称为卷积核或过滤器（filter）。...import torch.nn as nn def corr2d(X, K): H, W = X.shape
【一】机器翻译及相关技术 机器翻译（MT）： 将一段文本从一种语言自动翻译为另一种语言，用神经网络解决这个问题通常称为神经机器翻译（NMT）。 主要特征：输出的是单词序列而不是单个单词。 输出序列的长度可能与...
第二次打卡 1.关于验证数据集的描述错误的是： 测试数据集可以用来调整模型参数 验证数据集可以用来调整模型参数 在数据不够多的时候，k折交叉验证是一种常用的验证方法 k折交叉验证将数据分为k份，每次选择一份用于...
1.机器翻译及相关技术 机器翻译（MT）：将一段文本从一种语言自动翻译为另一种语言，用神经网络解决这个问题通常称为神经机器翻译（NMT）。 主要特征：输出是单词序列而不是单个单词。 输出序列的长度可能与源序列的...
卷积神经网络基础 需要理解卷积神经网络的基础概念，主要是卷积层和池化层、填充、步幅、输入通道和输出通道的含义。 几个经典的模型 LeNet AlexNet VGG NiN ...1×1卷积核作用 放缩通道数：通过控制卷积核的数量达到...
Task05 1.卷积神经网络基础 用一个边缘检测的例子来说明卷积过程： 给定的filter在输入图像上进行平移，每移动到一个位置上就把filter和input重合位置上的两个像素值相乘，再把该位置上所有的乘积加和，得到一个新...
一、深度学习中的一些常见问题及解决方案 （1）欠拟合 欠拟合即模型无法得到较低的训练误差，导致欠拟合的主要原因是模型复杂度不够，特征维度过少，导致拟合的函数无法满足训练集，误差较大。 （2）过拟合 过拟合即...
最近参加了伯禹平台和Datawhale等举办的《动手学深度学习PyTorch版》课程，机器翻译及相关技术，注意力机制与Seq2seq模型做下笔记。 机器翻译和数据集 机器翻译（MT）：将一段文本从一种语言自动翻译为另一种语言，...
过拟合、欠拟合及其解决方案；梯度消失、梯度爆炸；循环神经网络进阶 2.15-2.19 一、过拟合、欠拟合及其解决方案 1、过拟合问题 模型的训练误差远小于它在测试数据集上的误差，我们称该现象为过拟合（overfitting）...
在传统机器学习中，一个常见的问题的协变量偏移(Covariate Shift)。协变量是一个统计学概念，是可能影响预测结果的统计变量。 在机器学习中，协变量可以看作是输入。一般的机器学习算法都要求输入在训练集和测试集上...
(需要一定时间逐步补充以下内容，暂且用做打卡) 1. 模型选择、过拟合和欠拟合 训练误差和泛化误差 ...5. 机器翻译及相关技术 数据预处理 分词 建立词典 载入数据集 Encoder-Decoder -Sequence to Sequence模型
机器学习模型应关注降低泛化误差。 通常需要预留一部分在训练数据集和测试数据集以外的数据来进行模型选择，这部分数据被称为验证数据集，简称验证集（validation set）。 K折交叉验证：把原始训练数据集分割成K个不...
机器翻译及相关技术；注意力机制与Seq2Seq模型；Transformer 1.机器翻译及相关技术 2.注意力机制与Seq2Seq模型 3.Transformer 一 机器翻译及相关技术 机器翻译（MT）：将一段文本从一种语言自动翻译为另一种语言，用...
Task04 ：机器翻译及相关技术；注意力机制与Seq2seq模型；Transformer 1.机器翻译及相关技术 机器翻译和数据集 机器翻译（MT）：将一段文本从一种语言自动翻译为另一种语言，用神经网络解决这个问题通常称为神经机器...
文章目录1 机器翻译及相关技术1.1 机器翻译基本原理1.2 Encoder-Decoder1.3 Sequence to Sequence模型1.4 Beam Search2 注意力机制与Seq2seq模型2.1 注意力机制2.2 注意力机制的计算函数介绍2.3 引入注意力机制的Seq...
机器翻译和数据集 机器翻译（MT）：将一段文本从一种语言自动翻译为另一种语言，用神经网络解决这个问题通常称为神经机器翻译（NMT）。 主要特征：输出是单词序列而不是单个单词。 输出序列的长度可能与源序列的长度...
1.过拟合、欠拟合及其解决方案 模型训练中经常出现的两类典型问题： 1.模型无法得到较低的训练误差，我们将这一现象称作欠拟合（underfitting）； 2.模型的训练误差远小于它在测试数据集上的误差，我们称该现象为过...
1.卷积神经网络基础； 对于CNN中一些概念的理解 1.feature map 在CNN的各个卷积层中，数据都是以３维形式存在的。我们可以把它看成许多个２维平面图叠在一起，其中每个２维图称为一个feature map . ...